Lý Kiến Thành sinh năm 589, tức trong thời gian trị vì của Tùy Văn Đế Dương Kiên. Ông là trưởng tử của Lý Uyên với Đậu phu nhân, con gái của Thần Vũ công Đậu Nghị (竇毅) với Tương Dương công chúa Bắc Chu. Đậu phu nhân còn hạ sinh Lý Thế Dân, Lý Huyền Bá, Lý Nguyên Cát và Bình Dương Chiêu công chúa.

Năm 616, các cuộc khởi nghĩa nông dân bắt đầu nhấn chìm miền Bắc Trung Hoa, còn Đông Đột Quyết thường xuyên suất quân xâm nhập, Tùy Dạng Đế phái Lý Uyên đi trấn thủ Thái Nguyên, với nhiệm vụ chống lại cả quân nổi dậy và quân Đột Quyết. Khi đó, Lý Uyên đưa Lý Thế Dân cùng đến Thái Nguyên, song để Lý Kiến Thành, Lý Nguyên Cát và một người con khác là Lý Trí Vân, cùng gia thuộc ở Hà Đông (河東, nay thuộc Vận Thành, Sơn Tây).

Năm 617, do lo sợ sẽ bị Tùy Dạng Đế trừng phạt vì không đối phó được với Định Dương khả hãn Lưu Vũ Chu (một thủ lĩnh nổi dậy), lại được Lý Thế Dân thuyết phục, Lý Uyên đã nổi dậy phản Tùy. Sau đó, Lý Uyên phái người đến Hà Đông mật báo cho Lý Kiến Thành đưa gia quyến đến Thái Nguyên. Cả nhà đến nơi an toàn, riêng Lý Trí Vân (mới 13 tuổi) ở lại Hà Đông.

Tuy nhiên, trước khi Lý Kiến Thành, Lý Nguyên Cát và Sài Thiệu (con rể) đến được Thái Nguyên, Lý Uyên đã nổi dậy, tuyên bố là muốn lập Dương Hựu làm Hoàng đế, và để Tùy Dạng Đế làm Thái thượng hoàng. Đáp lại, các quan lại triều Tùy bắt giữ Lý Trí Vân, giải đến Trường An rồi xử tử.